为了促进5G机器学习的使用,国际电信联盟(ITU)在2021年提议的第二版是5G挑战中ITU AI/ML的第二版,来自82个国家/地区的1600多名参与者。这项工作详细介绍了第二位解决方案总体上,这也是图形神经网络挑战2021的获胜解决方案。我们在将模型应用于5G网络时解决了概括问题,该模型可能比观察到的途径更长,链路容量更长且链接能力更大在培训中。为了实现这一目标,我们建议首先提取与排队理论(QT)相关的强大特征,然后使用Routenet Graph神经网络(GNN)模型的修改对分析基线预测进行微调。所提出的解决方案比简单地使用Routenet更好地概括了,并设法将分析基线的10.42平均绝对百分比误差降低到1.45(合奏为1.27)。这表明,对已知鲁棒的近似模型进行小更改可能是提高准确性的有效方法,而不会损害概括。
translated by 谷歌翻译
半监督学习得到了研究人员的关注,因为它允许其中利用未标记数据的结构来实现比监督方法更少的标签来实现竞争分类结果。本地和全局一致性(LGC)算法是最着名的基于图形的半监督(GSSL)分类器之一。值得注意的是,其解决方案可以写成已知标签的线性组合。这种线性组合的系数取决于参数$ \ alpha $,在随机步行中达到标记的顶点时,确定随时间的衰减。在这项工作中,我们讨论如何删除标记实例的自我影响可能是有益的,以及它如何与休留次误差。此外,我们建议尽量减少自动分化的休假。在此框架内,我们提出了估计标签可靠性和扩散速率的方法。优化扩散速率以频谱表示更有效地完成。结果表明,标签可靠性方法与强大的L1-NORM方法竞争,删除对角线条目会降低过度的风险,并导致参数选择的合适标准。
translated by 谷歌翻译
The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.
translated by 谷歌翻译
State-of-the-art brain tumor segmentation is based on deep learning models applied to multi-modal MRIs. Currently, these models are trained on images after a preprocessing stage that involves registration, interpolation, brain extraction (BE, also known as skull-stripping) and manual correction by an expert. However, for clinical practice, this last step is tedious and time-consuming and, therefore, not always feasible, resulting in skull-stripping faults that can negatively impact the tumor segmentation quality. Still, the extent of this impact has never been measured for any of the many different BE methods available. In this work, we propose an automatic brain tumor segmentation pipeline and evaluate its performance with multiple BE methods. Our experiments show that the choice of a BE method can compromise up to 15.7% of the tumor segmentation performance. Moreover, we propose training and testing tumor segmentation models on non-skull-stripped images, effectively discarding the BE step from the pipeline. Our results show that this approach leads to a competitive performance at a fraction of the time. We conclude that, in contrast to the current paradigm, training tumor segmentation models on non-skull-stripped images can be the best option when high performance in clinical practice is desired.
translated by 谷歌翻译
Visual Place识别(VPR)是机器人平台从其车载摄像机中正确解释视觉刺激的能力,以确定其当前是否位于先前访问的位置,尽管有不同的视点,照明和外观变化。 JPEG是一种广泛使用的图像压缩标准,能够以图像清晰度为代价显着降低图像的大小。对于同时部署多个机器人平台的应用程序,必须在每个机器人之间远程传输收集的视觉数据。因此,可以采用JPEG压缩来大大减少通信渠道传输的数据量,因为可以证明使用有限的带宽为有限的带宽是一项具有挑战性的任务。然而,以前尚未研究JPEG压缩对当前VPR技术性能的影响。因此,本文对与VPR相关方案中的JPEG压缩进行了深入研究。我们在8个数据集上使用一系列已建立的VPR技术,并应用了各种压缩。我们表明,通过引入压缩,VPR性能大大降低,尤其是在较高的压缩频谱中。为了克服JPEG压缩对VPR性能的负面影响,我们提出了一个微调的CNN,该CNN针对JPEG压缩数据进行了优化,并表明其在极度压缩的JPEG图像中检测到的图像转换更加一致。
translated by 谷歌翻译
对任何人类语言的文本的语法分析通常涉及许多基本的处理任务,例如令牌化,形态标记和依赖性解析。最先进的系统可以在具有大数据集的语言上实现这些任务的高精度,但是对于几乎没有带注释的数据的他的他加禄语等语言的结果很差。为了解决他加禄语语言的此问题,我们研究了在没有带注释的他加禄语数据的情况下使用辅助数据源来创建特定于任务模型的使用。我们还探索了单词嵌入和数据扩展的使用,以提高性能,而只有少量带注释的他加禄语数据可用。我们表明,与最先进的监督基线相比,这些零射击和几乎没有射击的方法在对域内和域外的塔加尔teact文本进行了语法分析方面进行了实质性改进。
translated by 谷歌翻译
这封信提出了一个系统的模块化过程,用于组成几个子系统的分支机器人的动态建模,每个系统由多个刚体组成。此外,即使某些子系统被视为黑匣子,提出的策略也适用,仅需要在不同子系统之间的连接点上的曲折和扳手。为了帮助模型组成,我们还提出了一个图表表示,该图表编码子系统之间的曲折和扳手的传播。数值结果表明,所提出的形式主义与用于机器人动力学建模的最新库一样准确。
translated by 谷歌翻译
深度学习文献通过新的架构和培训技术不断更新。然而,尽管有一些关于随机权重的发现,但最近的研究却忽略了重量初始化。另一方面,最近的作品一直在接近网络科学,以了解训练后人工神经网络(ANN)的结构和动态。因此,在这项工作中,我们分析了随机初始化网络中神经元的中心性。我们表明,较高的神经元强度方差可能会降低性能,而较低的神经元强度方差通常会改善它。然后,提出了一种新方法,根据其强度根据优先附着(PA)规则重新连接神经元连接,从而大大降低了通过常见方法初始化的层的强度方差。从这个意义上讲,重新布线仅重新组织连接,同时保留权重的大小和分布。我们通过对图像分类进行的广泛统计分析表明,在使用简单和复杂的体系结构和学习时间表时,在大多数情况下,在培训和测试过程中,性能都会提高。我们的结果表明,除了规模外,权重的组织也与更好的初始化初始化有关。
translated by 谷歌翻译
最近的工作表明,视觉变压器(VTS)的注意力图在接受自学训练时,可以包含一种语义分割结构,在监督训练时不会自发出现。在本文中,我们明确鼓励这种空间聚类的出现作为一种培训正规化的形式,这种方式包括在标准监督学习中进行自我监督的借口任务。更详细地,我们根据信息熵的空间公式提出了一种VT正则化方法。通过最大程度地减少提议的空间熵,我们明确要求VT生成空间有序的注意图,这是在训练过程中包括基于对象的先验。使用广泛的实验,我们表明,在不同的培训方案,数据集,下游任务和VT体系结构中,提出的正则化方法是有益的。该代码将在接受后可用。
translated by 谷歌翻译
这项工作探讨了物理驱动的机器学习技术运算符推理(IMIPF),以预测混乱的动力系统状态。 OPINF提供了一种非侵入性方法来推断缩小空间中多项式操作员的近似值,而无需访问离散模型中出现的完整订单操作员。物理系统的数据集是使用常规数值求解器生成的,然后通过主成分分析(PCA)投影到低维空间。在潜在空间中,设置了一个最小二乘问题以适合二次多项式操作员,该操作员随后在时间整合方案中使用,以便在同一空间中产生外推。解决后,将对逆PCA操作进行重建原始空间中的外推。通过标准化的根平方误差(NRMSE)度量评估了OPINF预测的质量,从中计算有效的预测时间(VPT)。考虑混乱系统Lorenz 96和Kuramoto-Sivashinsky方程的数值实验显示,具有VPT范围的OPINF降低订单模型的有希望的预测能力,这些模型均超过了最先进的机器学习方法,例如返回和储层计算循环新的Neural网络[1 ],以及马尔可夫神经操作员[2]。
translated by 谷歌翻译